Nguyên soái Zakharov sinh tại Voylovo, một ngôi làng thuộc quận Kalininsky, Tver Oblast, có cha mẹ là nông dân. Zakharov gia nhập lực lượng Cận vệ đỏ (tiền thân của Hồng quân) vào năm 1917. Ông phục vụ dưới quyền Kliment Voroshilov trong Nội chiến Nga. Zakharov tốt nghiệp Học viện quân sự Frunze năm 1928 và Học viện Bộ Tổng tham mưu Liên Xô năm 1937. Trên thực tế, ông tốt nghiệp trước hạn một năm và được bổ sung vào đơn vị, do sự phát triển nhanh chóng quy mô quân đội, cũng như những cuộc thanh trừng của Stalin dẫn đến sự thiếu hụt sĩ quan trong Hồng quân.

Sau khi tốt nghiệp, Zakharov được phân công giữ một số chức vụ cao cấp trước khi Thế chiến thứ hai nổ ra. Năm 1937, ông được bổ nhiệm làm Tham mưu trưởng Quân khu Leningrad, năm 1938-1940, ông là Phó Tổng tham mưu trưởng, và sau đó là Tham mưu trưởng Quân khu Odessa.

Đến cuối năm 1941, sau khi Chiến dịch Barbarossa nổ ra, ông được chuyển lên phía bắc, được bổ nhiệm làm Tham mưu trưởng Phương diện quân Tây Bắc. Không lâu sau đó, ông lại được bổ nhiệm làm Tham mưu trưởng Phương diện quân Kalinin và giữ vai trò này trong hầu hết năm 1942. Năm 1943, ông được bổ nhiệm làm Tham mưu trưởng Phương diện quân Thảo Nguyên, sau được đổi tên thành Phương diện quân Ukraina 2 vào khoảng giữa năm. Chính trong thời gian này, Zakharov đã chứng tỏ mình là một trong những chỉ huy quân sự hàng đầu của Liên Xô. Ông đã tham gia lập kế hoạch cho một số chiến dịch xuất sắc chống lại các lực lượng Đức, đầu tiên là dưới quyền Nguyên soái Ivan Konev, và sau đó là Nguyên soái Rodion Malinovsky. Sau khi chiến sự phía Tây kết thúc, Zakharov được chuyển về phía Đông, được bổ nhiệm làm Tham mưu trưởng Phương diện quân Zabaikal và tham gia lập kế hoạch cho Chiến dịch tấn công chiến lược Mãn Châu sau đó.

Sau chiến tranh, Zakharov giữ một số vị trí chủ chốt trong quân đội. Năm 1945-1960, Zakharov là Giám đốc Học viện Bộ Tổng tham mưu, Phó Tổng Tham mưu trưởng, Tổng Thanh tra Quân đội, Tư lệnh Quân khu Leningrad và Tổng tư lệnh Lực lượng Liên Xô tại Đức. Ngày 8 tháng 5 năm 1959, ông được thăng hàm Nguyên soái Liên Xô. Cùng lúc đó, ông cũng được bổ nhiệm làm Tổng tham mưu trưởng và Thứ trưởng Bộ Quốc phòng năm 1960. Sau đó, ông trở lại Học viện Bộ Tổng tham mưu một thời gian ngắn, nơi ông một lần nữa là Giám đốc Học viện cho đến năm 1964, khi được tái bổ nhiệm làm Thứ trưởng Bộ Quốc phòng và một lần nữa là Tổng tham mưu trưởng, một chức vụ ông giữ cho đến khi nghỉ hưu năm 1971.

Nguyên soái Zakharov qua đời vào ngày 31 tháng 1 năm 1972. Chiếc bình chứa tro cốt của ông được cất tại Nghĩa trang tường Điện Kremli.